Outfit Anyone - 阿里巴巴的 AI 虚拟试穿项目

前几天，我们曾经介绍过阿里巴巴的 "Animate Anyone" 项目Animate Anyone 人物图片生成动画，今天，Bob 分享了另一个阿里的项目——"Outfit Anyone"。

我在 Hugging Face 上亲自体验了一下，你也可以看看效果：https://huggingface.co/spaces/

项目介绍

虚拟试穿技术已经成为一项具有变革性的技术，使用户能够在不必亲身试穿服装的情况下尝试各种时尚风格。然而，现有方法通常在生成高保真度和细节一致性方面存在挑战。虽然diffusion模型已经证明了它们生成高质量和逼真图像的能力，但在虚拟试穿等有条件生成的情景中，仍然面临着控制和一致性方面的挑战。"Outfit Anyone" 通过利用两流条件扩散模型来解决这些限制，使其能够熟练处理服装的变形，从而产生更逼真的结果。

研究方法

"Outfit Anyone" 方法的核心是条件扩散模型，它处理了模型、服装和相关文本提示的图像，其中服装图像被用作控制因素。在内部，网络分为两个流，分别独立处理模型和服装数据。这些流在一个融合网络内汇合，有助于将服装细节嵌入到模型特征表示中。

基于此基础，我们建立了"Outfit Anyone"，包括两个关键组件：用于生成初次试穿图像的"Zero-shot Try-on Network" 和用于增强输出图像中服装和皮肤纹理的"Post-hoc Refiner"。

我们来看看各种不同的效果：

• 真实世界
• 单一服装
• 整套搭配
• 奇特时尚
• 多种体型
• 动漫角色

项目官网进一步展示了在使用"Refiner"前后的效果，展示了它在显著增强服装纹理和逼真度的同时，保持了服装的一致性。

Refined之前

Refined之后

"Outfit Anyone" + "Animate Anyone"

最后，官方演示了如何将"Outfit Anyone" 与"Animate Anyone" （Animate Anyone 人物图片生成动画）集成：